Được đào tạo như một giáo viên và nhà báo, Krenz gia nhập Thanh Thiếu niên Tự do Đức (FDJ) năm 1953, như một thiếu niên, và các Đảng Xã hội chủ nghĩa thống nhất Đức (SED) trong năm 1955.[3] Sau khi phục vụ trong Volksarmee từ năm 1959 đến 1961, ông quay trở lại FDJ. Ông đã học tại một trường đào tạo nhân viên đảng Cộng sản có uy tín ở Moscow trong ba năm, trở thành một thành viên của danh dự và đã đạt được bằng khoa học xã hội vào năm 1967. Trong suốt sự nghiệp của mình, Krenz giữ nhiều chức vụ trong SED và Chính phủ Cộng sản. Ông là lãnh đạo của Tổ chức Tiền phong Ernst Thälmann từ năm 1971 vào năm 1974, và trở thành một thành viên của Ủy ban Trung ương Đảng năm 1973. Ông ấy cũng là một thành viên của Phòng Nhân dân (cơ quan lập pháp của Đông Đức) từ năm 1971 đến năm 1990, và là chủ tịch từ năm 1971 đến năm 1981. Giữa năm 1974 và năm 1983, ông là lãnh đạo phong trào thanh niên cộng sản, Thanh Thiếu niên Tự do Đức. Từ năm 1981 vào năm 1984 ông là thành viên của Hội đồng Nhà nước.

Trong năm 1983 ông tham gia vào chính trị và trở thành Bí thư Ủy ban Trung ương với trách nhiệm phòng vệ an ninh, cùng một vị trí Honecker đã nắm giữ trước khi trở thành Tổng Bí thư. Ông đã nổi lên nắm quyền khi trở thành người bậc phó của Honecker trong Hội đồng Nhà nước năm 1984. Cũng trong khoảng thời gian đó, ông đã thay thế Paul Verner là người đứng thứ hai không chính thức trong lãnh đạo SED, do đó trở thành người có quyền lực thứ hai trong nước. Mặc dù ông là thành viên trẻ nhất của Bộ Chính trị (và thực tế, chỉ có một trong số hai người được nâng lên thành viên chính thức từ năm 1976 đến năm 1984), nhiều người cho rằng Honecker đã đánh giá ông như là người thừa kế của mình.[4]